技術 LLM Note Day 15 - ONNX & ONNX Runtime

簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...

技術 # Day27-Transformer 效能優化

這幾天玩下來，大家應該都有發現到一個問題，就是 Transformer 的效能不是太好，尤其你要在大吞吐量下運作，想必是非常的耗費運算資源。更不用說在不久的將來...